Cross-Demographic Benchmarking of Commercial Services For Automated Facial Analysis Using Unconstrained Images

class: right, middle, inverse, titular
background-image: url(data:image/png;base64,#img/title-background.png)
background-size: contain
background-position: -20% 0%

<img src="data:image/png;base64,#img/fhwn-logo.png" width="125px"/>
## <div class="title"> Cross-Demographic Benchmarking of Commercial Services For Automated Facial Analysis Using Unconstrained Images </div>
## 
### Till Bieg
### Juni 2022

[<svg aria-hidden="true" role="img" viewBox="0 0 496 512" style="height:1em;width:0.97em;vertical-align:-0.125em;margin-left:auto;margin-right:auto;font-size:inherit;fill:currentColor;overflow:visible;position:relative;"><path d="M165.9 397.4c0 2-2.3 3.6-5.2 3.6-3.3.3-5.6-1.3-5.6-3.6 0-2 2.3-3.6 5.2-3.6 3-.3 5.6 1.3 5.6 3.6zm-31.1-4.5c-.7 2 1.3 4.3 4.3 4.9 2.6 1 5.6 0 6.2-2s-1.3-4.3-4.3-5.2c-2.6-.7-5.5.3-6.2 2.3zm44.2-1.7c-2.9.7-4.9 2.6-4.6 4.9.3 2 2.9 3.3 5.9 2.6 2.9-.7 4.9-2.6 4.6-4.6-.3-1.9-3-3.2-5.9-2.9zM244.8 8C106.1 8 0 113.3 0 252c0 110.9 69.8 205.8 169.5 239.2 12.8 2.3 17.3-5.6 17.3-12.1 0-6.2-.3-40.4-.3-61.4 0 0-70 15-84.7-29.8 0 0-11.4-29.1-27.8-36.6 0 0-22.9-15.7 1.6-15.4 0 0 24.9 2 38.6 25.8 21.9 38.6 58.6 27.5 72.9 20.9 2.3-16 8.8-27.1 16-33.7-55.9-6.2-112.3-14.3-112.3-110.5 0-27.5 7.6-41.3 23.6-58.9-2.6-6.5-11.1-33.3 2.6-67.9 20.9-6.5 69 27 69 27 20-5.6 41.5-8.5 62.8-8.5s42.8 2.9 62.8 8.5c0 0 48.1-33.6 69-27 13.7 34.7 5.2 61.4 2.6 67.9 16 17.7 25.8 31.5 25.8 58.9 0 96.5-58.9 104.2-114.8 110.5 9.2 7.9 17 22.9 17 46.4 0 33.7-.3 75.4-.3 83.6 0 6.5 4.6 14.4 17.3 12.1C428.2 457.8 496 362.9 496 252 496 113.3 383.5 8 244.8 8zM97.2 352.9c-1.3 1-1 3.3.7 5.2 1.6 1.6 3.9 2.3 5.2 1 1.3-1 1-3.3-.7-5.2-1.6-1.6-3.9-2.3-5.2-1zm-10.8-8.1c-.7 1.3.3 2.9 2.3 3.9 1.6 1 3.6.7 4.3-.7.7-1.3-.3-2.9-2.3-3.9-2-.6-3.6-.3-4.3.7zm32.4 35.6c-1.6 1.3-1 4.3 1.3 6.2 2.3 2.3 5.2 2.6 6.5 1 1.3-1.3.7-4.3-1.3-6.2-2.2-2.3-5.2-2.6-6.5-1zm-11.4-14.7c-1.6 1-1.6 3.6 0 5.9 1.6 2.3 4.3 3.3 5.6 2.3 1.6-1.3 1.6-3.9 0-6.2-1.4-2.3-4-3.3-5.6-2z"/></svg> bit.ly/face-benchmark](https://bit.ly/face-benchmark)

---
class: center, middle

# Überblick

----

<p style = "color: #4cbfac; line-height: 200%; size: 12;"> Einführung <br>
Theoretischer Hintergrund <br>
Forschungsfragen <br>
Experiment 1 (Methode, Ergebnisse) <br>
Experiment 2 (Methode, Ergebnisse) <br>
Experiment 3 (Methode, Ergebnisse) <br>
Einordnung der Ergebnisse, Limitationen und Implikationen <br> 
Schlussfolgerung </p>

---
class: inverse, middle, center

----
---
## <svg aria-hidden="true" role="img" viewBox="0 0 448 512" style="height:1em;width:0.88em;vertical-align:-0.125em;margin-left:auto;margin-right:auto;font-size:inherit;fill:#c5ebd5;overflow:visible;position:relative;"><path d="M424.4 214.7L72.4 6.6C43.8-10.3 0 6.1 0 47.9V464c0 37.5 40.7 60.1 72.4 41.3l352-208c31.4-18.5 31.5-64.1 0-82.6z"/></svg> Einführung 
----
* Technischer Fortschritt führt zu immer breiterer Anwendung von Automated Facial Analysis in verschiedensten Domänen [1; 2; 3] und Unternehmen haben begonnen Automated Facial Analysis als <mark class="turquoise">kommerzielle Services</mark> anzubieten [4; 5; 6; 7]

* <mark class="turquoise">Automated Facial Analysis</mark>: Überbegriff, der verschiedene computergestützte Abläufe bezeichnet, die die Extraktion von Informationen aus digitalisierten Bildern von Gesichtern und die Identifizierung bedeutsamer Muster daraus beinhalten [4; 8]

* Bisherige Forschung impliziert <mark class="turquoise">demografische Biases</mark> in kommerziellen Services [4; 9; 10; 11; 12; 13; 14; 15], allerdings existieren Forschungslücken:
  * Benchmarks kommerzieller Services für Face Verification bei "Unconstrained Images" unter Berücksichtigung von Gender, Race und Age
  * Vergleich kommerzieller Service für Face Verification bei "Unconstrained Images" über die Zeit
  * Benchmarks kommerzieller Services für Face-Based Age Inference unter Berücksichtigung von Gender, Race und Age

* <mark class="turquoise">Ziel der Arbeit:</mark> Untersuchung dieser Forschungslücken, um Biases aufzudecken, Transparenz zu unterstützen und die empirische Grundlage für Entscheidungen zum Einsatz von Artifical Intelligence zu erweitern

---
class: inverse, middle, center

----
---
## <svg aria-hidden="true" role="img" viewBox="0 0 448 512" style="height:1em;width:0.88em;vertical-align:-0.125em;margin-left:auto;margin-right:auto;font-size:inherit;fill:#c5ebd5;overflow:visible;position:relative;"><path d="M448 360V24c0-13.3-10.7-24-24-24H96C43 0 0 43 0 96v320c0 53 43 96 96 96h328c13.3 0 24-10.7 24-24v-16c0-7.5-3.5-14.3-8.9-18.7-4.2-15.4-4.2-59.3 0-74.7 5.4-4.3 8.9-11.1 8.9-18.6zM128 134c0-3.3 2.7-6 6-6h212c3.3 0 6 2.7 6 6v20c0 3.3-2.7 6-6 6H134c-3.3 0-6-2.7-6-6v-20zm0 64c0-3.3 2.7-6 6-6h212c3.3 0 6 2.7 6 6v20c0 3.3-2.7 6-6 6H134c-3.3 0-6-2.7-6-6v-20zm253.4 250H96c-17.7 0-32-14.3-32-32 0-17.6 14.4-32 32-32h285.4c-1.9 17.1-1.9 46.9 0 64z"/></svg> Theoretischer Hintergrund - Fairness in Machine Learning 
----
* Moderne Machine Learning-Applikationen (Automated Facial Analysis und darüber hinaus) basieren oft auf großen Datenmengen [16; 17]

* <mark class="turquoise">Biases</mark> im Entwicklungsprozess (z.B. nicht ausgewogene Trainingsdaten) können sich in Biases in den jeweiligen Modellen übertragen [18; 17; 19; 20; 21]

* Potentielle Folge: <mark class="turquoise">Diskrimierung, ungerechte bzw. falsche Entscheidungen</mark> (z.B. Kreditvergabe, Strafverfolgung, Berufsförderung)

* Motiviert hierdurch: <mark class="turquoise">Fair Machine Learning</mark>

---
## <svg aria-hidden="true" role="img" viewBox="0 0 448 512" style="height:1em;width:0.88em;vertical-align:-0.125em;margin-left:auto;margin-right:auto;font-size:inherit;fill:#c5ebd5;overflow:visible;position:relative;"><path d="M448 360V24c0-13.3-10.7-24-24-24H96C43 0 0 43 0 96v320c0 53 43 96 96 96h328c13.3 0 24-10.7 24-24v-16c0-7.5-3.5-14.3-8.9-18.7-4.2-15.4-4.2-59.3 0-74.7 5.4-4.3 8.9-11.1 8.9-18.6zM128 134c0-3.3 2.7-6 6-6h212c3.3 0 6 2.7 6 6v20c0 3.3-2.7 6-6 6H134c-3.3 0-6-2.7-6-6v-20zm0 64c0-3.3 2.7-6 6-6h212c3.3 0 6 2.7 6 6v20c0 3.3-2.7 6-6 6H134c-3.3 0-6-2.7-6-6v-20zm253.4 250H96c-17.7 0-32-14.3-32-32 0-17.6 14.4-32 32-32h285.4c-1.9 17.1-1.9 46.9 0 64z"/></svg> Theoretischer Hintergrund - Fairness in Machine Learning 
----
* Verschiedene Klassen von <mark class="turquoise">Definitionen für Fairness</mark> im Kontext von Machine Learning haben sich etabliert [22]

* Je nach Kontext weisen die verschiedenen Definitionen von Fairness Limitationen auf [22]

* Im Kontext der Arbeit gebräuliche Definition: <mark class="turquoise">Classification Parity</mark> [22]
  * Definition: Leistung eines Modells soll bezüglich Gruppen, die durch bestimmte "Protected Attributes" (z.B. Gender, Race, Age) definiert sind, gleich bzw. ähnlich sein
  * Beispiel: Bei einem Modell zur Face Verification sollte die Fehlerrate bei African Females auf ähnlichem Niveau sein wie bei Caucasian Males

---
## <svg aria-hidden="true" role="img" viewBox="0 0 448 512" style="height:1em;width:0.88em;vertical-align:-0.125em;margin-left:auto;margin-right:auto;font-size:inherit;fill:#c5ebd5;overflow:visible;position:relative;"><path d="M448 360V24c0-13.3-10.7-24-24-24H96C43 0 0 43 0 96v320c0 53 43 96 96 96h328c13.3 0 24-10.7 24-24v-16c0-7.5-3.5-14.3-8.9-18.7-4.2-15.4-4.2-59.3 0-74.7 5.4-4.3 8.9-11.1 8.9-18.6zM128 134c0-3.3 2.7-6 6-6h212c3.3 0 6 2.7 6 6v20c0 3.3-2.7 6-6 6H134c-3.3 0-6-2.7-6-6v-20zm0 64c0-3.3 2.7-6 6-6h212c3.3 0 6 2.7 6 6v20c0 3.3-2.7 6-6 6H134c-3.3 0-6-2.7-6-6v-20zm253.4 250H96c-17.7 0-32-14.3-32-32 0-17.6 14.4-32 32-32h285.4c-1.9 17.1-1.9 46.9 0 64z"/></svg> Theoretischer Hintergrund - Demographische Dimensionen in Machine Learning 
----
* <mark class="turquoise">"Demografic"</mark>: "eine Teilmenge der Bevölkerung, die ein ähnliches Alter, das gleiche Geschlecht und so weiter hat" [23]

* Im Kontext von Automated Facial Analysis werden zumeinst drei demografische Dimensionen bezüglich Biases berücksichtigt:
  * <mark class="turquoise">Gender</mark> (Geschlecht): Meist auf binäre Kategorien reduziert (Weiblich, Männlich) [4; 14; 10; 24; 25; 26]
  * <mark class="turquoise">Race</mark>: Unscharf definierter Begriff, der sich auf geografische, soziale und kulturelle Ähnlichkeiten bezieht [27; 28]
  * <mark class="turquoise">Age</mark> (Alter): In Jahren - oft Unterteilung in Altersgruppen [11; 15; 25]
  
* Wahre Komplexität demographischer Dimensionen im Kontext von Machine Learning häufig (noch) nicht abgebildet [4]
  
* <mark class="turquoise">Intersektionale Betrachtung</mark> [29], besonders wichtig, da Studien gezeigt haben, dass Biases in Bezug auf intersektionale Gruppen erhöht sein können [4; 10]

---
## <svg aria-hidden="true" role="img" viewBox="0 0 448 512" style="height:1em;width:0.88em;vertical-align:-0.125em;margin-left:auto;margin-right:auto;font-size:inherit;fill:#c5ebd5;overflow:visible;position:relative;"><path d="M448 360V24c0-13.3-10.7-24-24-24H96C43 0 0 43 0 96v320c0 53 43 96 96 96h328c13.3 0 24-10.7 24-24v-16c0-7.5-3.5-14.3-8.9-18.7-4.2-15.4-4.2-59.3 0-74.7 5.4-4.3 8.9-11.1 8.9-18.6zM128 134c0-3.3 2.7-6 6-6h212c3.3 0 6 2.7 6 6v20c0 3.3-2.7 6-6 6H134c-3.3 0-6-2.7-6-6v-20zm0 64c0-3.3 2.7-6 6-6h212c3.3 0 6 2.7 6 6v20c0 3.3-2.7 6-6 6H134c-3.3 0-6-2.7-6-6v-20zm253.4 250H96c-17.7 0-32-14.3-32-32 0-17.6 14.4-32 32-32h285.4c-1.9 17.1-1.9 46.9 0 64z"/></svg> Theoretischer Hintergrund - Kommerzielle Services für Automated Facial Analysis
----
.pull-left[

* Zahlreiche Unternehmen haben begonnen Automated Facial Analysis als <mark class="turquoise">kommerzielle Services</mark> anzubieten, z.B. Amazon, Microsoft, Megvii, Baidu, Kairos, Lambda Labs [5; 30; 31; 6; 7]

* <mark class="turquoise">Zahlreiche Use Cases</mark> abgedeckt, z.B.: Face Verification, Gender Classification, Age Inference, Landmark Extraction, Emotion Detection, etc. [5; 30; 31; 6; 7]

* Kommerzielle Services in der Regel als Application Programming Interfaces (APIs) zur Verfügung gestellt, die es Unternehmen und Privatpersonen erlauben, Services für eigene Anwendungen zu nutzen
]

.pull-right[

* <mark class="turquoise">Kein direkter Einblick</mark> in Biases dieser Systeme für Dritte möglich

![](data:image/png;base64,#img/service_logos.png)
]

.pull-left[
* <mark class="turquoise">Face Verification</mark>: Algorithmus, der versucht zu erkennen, ob zwei Bilder eines Gesichts zu derselben Person gehören

* Hohe Relevanz und viele Anwendungsfälle (Strafverfolgung, Authentifzierung, etc.) [32; 33]

]

.pull-right[
![:scale 75%](data:image/png;base64,#img/face-verification.png)
]

* Studien haben bereits <mark class="turquoise">demograpische Biases</mark> in (kommerzieller) Face Verification gefunden [10; 11; 13; 14; 15; 17; 34], z.B.:
  * Modelle sind am genauesten bei Males, Caucasians oder Personen mittleren Alters
  * Modellgenauigkeit ist schlechter bei African und Asian Females oder bei jungen Menschen
  
* Trotz zahlreicher Studien: <mark class="turquoise">Forschungslücken</mark>

* Benchmarks kommerzieller Services für Face Verification bei "Unconstrained Images" unter Berücksichtigung von Gender, Race und Age
  * Vergleich kommerzieller Service für Face Verification bei "Unconstrained Images" über die Zeit

---
## <svg aria-hidden="true" role="img" viewBox="0 0 448 512" style="height:1em;width:0.88em;vertical-align:-0.125em;margin-left:auto;margin-right:auto;font-size:inherit;fill:#c5ebd5;overflow:visible;position:relative;"><path d="M448 360V24c0-13.3-10.7-24-24-24H96C43 0 0 43 0 96v320c0 53 43 96 96 96h328c13.3 0 24-10.7 24-24v-16c0-7.5-3.5-14.3-8.9-18.7-4.2-15.4-4.2-59.3 0-74.7 5.4-4.3 8.9-11.1 8.9-18.6zM128 134c0-3.3 2.7-6 6-6h212c3.3 0 6 2.7 6 6v20c0 3.3-2.7 6-6 6H134c-3.3 0-6-2.7-6-6v-20zm0 64c0-3.3 2.7-6 6-6h212c3.3 0 6 2.7 6 6v20c0 3.3-2.7 6-6 6H134c-3.3 0-6-2.7-6-6v-20zm253.4 250H96c-17.7 0-32-14.3-32-32 0-17.6 14.4-32 32-32h285.4c-1.9 17.1-1.9 46.9 0 64z"/></svg> Theoretischer Hintergrund - Demographische Biases in Face-Based Age Inference
----

.pull-left[
* <mark class="turquoise">Face-Based Age Inference</mark>: Schätzung des Alters einer Person auf der Grundlage eines Bildes ihres Gesichts [35]

* Viele aktuelle Forschungsarbeiten beschäftigen sich mit der Verbeserung von Face-Based Age Inference [36; 24; 25; 37; 38; 39; 40; 41]

* Wenige Studien haben sich mit demographischen Biases in Face-Based Age Inference beschäftigt [24; 25]

* Insbesondere <mark class="turquoise">Studien zu demographischen Biases in kommerziellen Services</mark> sind selten (erstaunlich, weil Face-Based Gender Inference große öffentliche Aufmerksamkeit erhalten hat [4; 9]
]

.pull-right[
![:scale 90%](data:image/png;base64,#img/face-based-age-inference.png)
]

---
class: inverse, middle, center

---
## <svg aria-hidden="true" role="img" viewBox="0 0 384 512" style="height:1em;width:0.75em;vertical-align:-0.125em;margin-left:auto;margin-right:auto;font-size:inherit;fill:#c5ebd5;overflow:visible;position:relative;"><path d="M202.021 0C122.202 0 70.503 32.703 29.914 91.026c-7.363 10.58-5.093 25.086 5.178 32.874l43.138 32.709c10.373 7.865 25.132 6.026 33.253-4.148 25.049-31.381 43.63-49.449 82.757-49.449 30.764 0 68.816 19.799 68.816 49.631 0 22.552-18.617 34.134-48.993 51.164-35.423 19.86-82.299 44.576-82.299 106.405V320c0 13.255 10.745 24 24 24h72.471c13.255 0 24-10.745 24-24v-5.773c0-42.86 125.268-44.645 125.268-160.627C377.504 66.256 286.902 0 202.021 0zM192 373.459c-38.196 0-69.271 31.075-69.271 69.271 0 38.195 31.075 69.27 69.271 69.27s69.271-31.075 69.271-69.271-31.075-69.27-69.271-69.27z"/></svg> Forschungsfragen
----
RQ 1: Wie unterscheidet sich die Performance kommerzieller Services für Face Verification unter Verwendung von Unconstrained Images hinsichtlich demografischer Gruppen (Gender, Race und Age)?

RQ 2: Wie unterscheiden sich kommerzielle Services für Face Verification hinsichtlich ihrer Performance unter Verwendung von Unconstrained Images?

RQ 3: Wie hat sich die Performance kommerzieller Services für Face Verification unter Verwendung von Unconstrained Images im Vergleich zu früheren Benchmarks verändert?

RQ 4: Wie unterscheidet sich die Performance kommerzieller Services für Face-Based Age Inference (unter Verwendung von Unconstrained Images) hinsichtlich demografischer Gruppen (Gender, Race und Age)?

RQ 5: Wie unterscheiden sich kommerzielle Services für Face-Based Age Inference hinsichtlich ihrer Performance (unter Verwendung von Unconstrained Images)?

---
class: inverse, middle, center

----
---
## <svg aria-hidden="true" role="img" viewBox="0 0 640 512" style="height:1em;width:1.25em;vertical-align:-0.125em;margin-left:auto;margin-right:auto;font-size:inherit;fill:#c5ebd5;overflow:visible;position:relative;"><path d="M72 64h24v240c0 44.1 35.9 80 80 80s80-35.9 80-80V64h24c4.4 0 8-3.6 8-8V8c0-4.4-3.6-8-8-8H72c-4.4 0-8 3.6-8 8v48c0 4.4 3.6 8 8 8zm72 0h64v96h-64V64zm480 384H16c-8.8 0-16 7.2-16 16v32c0 8.8 7.2 16 16 16h608c8.8 0 16-7.2 16-16v-32c0-8.8-7.2-16-16-16zM360 64h24v240c0 44.1 35.9 80 80 80s80-35.9 80-80V64h24c4.4 0 8-3.6 8-8V8c0-4.4-3.6-8-8-8H360c-4.4 0-8 3.6-8 8v48c0 4.4 3.6 8 8 8zm72 0h64v96h-64V64z"/></svg> Experiment 1 - Methode
----

.pull-left[

* Benchmark kommerzieller Face Verification Services (Amazon, Megvii, Microsoft) unter Verwendung von Unconstrained Images (<mark class="turquoise">RQ 1, RQ 2</mark>)

* Berücksichtigung von <mark class="turquoise">Gender</mark> (Female, Male), <mark class="turquoise">Race</mark> (African, Asian, Caucasian, Indian) und <mark class="turquoise">Age</mark> (<30, 30-39, 40-49, 50+)</mark>

* Verwendeter Datensatz: <mark class="turquoise">Balanced Faces in the Wild (BFW) [14]</mark>

* 20,000 Unconstrained Images von 800 Individuen balanciert nach Gender und Race und entsprechende Labels
  
  * <mark class="turquoise">Keine Labels für Age</mark>

]

.pull-left[
.center[
![:scale 58%](data:image/png;base64,#img/bfw_avg_imgs.png)
]
]

---
## <svg aria-hidden="true" role="img" viewBox="0 0 640 512" style="height:1em;width:1.25em;vertical-align:-0.125em;margin-left:auto;margin-right:auto;font-size:inherit;fill:#c5ebd5;overflow:visible;position:relative;"><path d="M72 64h24v240c0 44.1 35.9 80 80 80s80-35.9 80-80V64h24c4.4 0 8-3.6 8-8V8c0-4.4-3.6-8-8-8H72c-4.4 0-8 3.6-8 8v48c0 4.4 3.6 8 8 8zm72 0h64v96h-64V64zm480 384H16c-8.8 0-16 7.2-16 16v32c0 8.8 7.2 16 16 16h608c8.8 0 16-7.2 16-16v-32c0-8.8-7.2-16-16-16zM360 64h24v240c0 44.1 35.9 80 80 80s80-35.9 80-80V64h24c4.4 0 8-3.6 8-8V8c0-4.4-3.6-8-8-8H360c-4.4 0-8 3.6-8 8v48c0 4.4 3.6 8 8 8zm72 0h64v96h-64V64z"/></svg> Experiment 1 - Methode
----

* <mark class="turquoise">Labelling von Age</mark> für alle 20,000 Bilder im Datensatz nach der Methode von [25]

* <mark class="turquoise">Auswahl von Bildpaaren</mark>

* Randomisiert unter Berücksichtigung von Cosine Distances zwischen MobileNetV2-Embeddings [42]
  
  * Nur Paare innerhalb der gleichen Subgruppe (gleiches Gender, Race und Age)
  
  * 150 Genuine Pairs und 150 Imposter Pairs pro Subgruppe
  
  * Limitation: Bestimmte Altersgruppen stark unterrepräsentiert im Datensatz, daher in einigen Fälle keine 150 bzw. 300 Paare pro Gruppe
  
---
## <svg aria-hidden="true" role="img" viewBox="0 0 640 512" style="height:1em;width:1.25em;vertical-align:-0.125em;margin-left:auto;margin-right:auto;font-size:inherit;fill:#c5ebd5;overflow:visible;position:relative;"><path d="M72 64h24v240c0 44.1 35.9 80 80 80s80-35.9 80-80V64h24c4.4 0 8-3.6 8-8V8c0-4.4-3.6-8-8-8H72c-4.4 0-8 3.6-8 8v48c0 4.4 3.6 8 8 8zm72 0h64v96h-64V64zm480 384H16c-8.8 0-16 7.2-16 16v32c0 8.8 7.2 16 16 16h608c8.8 0 16-7.2 16-16v-32c0-8.8-7.2-16-16-16zM360 64h24v240c0 44.1 35.9 80 80 80s80-35.9 80-80V64h24c4.4 0 8-3.6 8-8V8c0-4.4-3.6-8-8-8H360c-4.4 0-8 3.6-8 8v48c0 4.4 3.6 8 8 8zm72 0h64v96h-64V64z"/></svg> Experiment 1 - Methode
----

* <mark class="turquoise">Vergleichsgrößen</mark>:

* False Match Rate (FMR) [11]: `\(FMR(T) = \frac{1}{M} \sum_{i=1}^{M} H(u_i - T)\)`
  
  * False Non-Match Rate (FNMR) [11]: `\(FNMR(T) = 1 - \frac{1}{N} \sum_{i=1}^{N} H(v_i - T)\)`
  
  * Equal Error Rate (EER): Wenn Decision Threshold so gewählt wird, dass die FMR gleich der FNMR ist, wird der gemeinsame Wert von FMR und FNMR als EER bezeichnet [43]

* Analyse von FMRs und FNMRs auf Basis <mark class="turquoise">variierender Thresholds</mark>
  
* Implementierung des Benchmarks, Auswertung und Visualisierung mit Python 3.8.8 [44] bzw. R 4.1.0 [45]

---
class: middle
## <svg aria-hidden="true" role="img" viewBox="0 0 640 512" style="height:1em;width:1.25em;vertical-align:-0.125em;margin-left:auto;margin-right:auto;font-size:inherit;fill:#c5ebd5;overflow:visible;position:relative;"><path d="M72 64h24v240c0 44.1 35.9 80 80 80s80-35.9 80-80V64h24c4.4 0 8-3.6 8-8V8c0-4.4-3.6-8-8-8H72c-4.4 0-8 3.6-8 8v48c0 4.4 3.6 8 8 8zm72 0h64v96h-64V64zm480 384H16c-8.8 0-16 7.2-16 16v32c0 8.8 7.2 16 16 16h608c8.8 0 16-7.2 16-16v-32c0-8.8-7.2-16-16-16zM360 64h24v240c0 44.1 35.9 80 80 80s80-35.9 80-80V64h24c4.4 0 8-3.6 8-8V8c0-4.4-3.6-8-8-8H360c-4.4 0-8 3.6-8 8v48c0 4.4 3.6 8 8 8zm72 0h64v96h-64V64z"/></svg> Experiment 1 - Ergebnisse
----

---

## <svg aria-hidden="true" role="img" viewBox="0 0 640 512" style="height:1em;width:1.25em;vertical-align:-0.125em;margin-left:auto;margin-right:auto;font-size:inherit;fill:#c5ebd5;overflow:visible;position:relative;"><path d="M72 64h24v240c0 44.1 35.9 80 80 80s80-35.9 80-80V64h24c4.4 0 8-3.6 8-8V8c0-4.4-3.6-8-8-8H72c-4.4 0-8 3.6-8 8v48c0 4.4 3.6 8 8 8zm72 0h64v96h-64V64zm480 384H16c-8.8 0-16 7.2-16 16v32c0 8.8 7.2 16 16 16h608c8.8 0 16-7.2 16-16v-32c0-8.8-7.2-16-16-16zM360 64h24v240c0 44.1 35.9 80 80 80s80-35.9 80-80V64h24c4.4 0 8-3.6 8-8V8c0-4.4-3.6-8-8-8H360c-4.4 0-8 3.6-8 8v48c0 4.4 3.6 8 8 8zm72 0h64v96h-64V64z"/></svg> Experiment 1 - Ergebnisse
----

---

---

* Nach <mark class="turquoise">Services</mark>: Niedrigste Fehlerraten bei Amazon, höchste Fehlerraten bei Megvii

* Nach <mark class="turquoise">dem. Gruppen</mark>:
  * Niedrigere Fehlerraten bei Females
  * Niedrigere Fehlerraten bei Caucasians, höhere bei Asians und Africans (je nach Service)
  * Höchste Fehlerraten bei Personen unter 30 Jahren
  * <mark class="turquoise">Intersektional</mark>: Niedrigste Fehlerraten bei älteren Causasian Males, höchste (u.a.) bei jüngeren Asian Females und älteren African Males
  
* <mark class="turquoise">Biases höher in FMRs</mark> (z.B. 42 Prozentpunkte bei Amazon) im Vergleich zu FNMRs (12 Prozentpunkte bei Amazon)

* Höhe der Unterschiede zwischen Gruppen <mark class="turquoise">hängt stark vom gewählten Threshold</mark> ab

---
class: inverse, middle, center

----

.pull-left[

* <mark class="turquoise">Replikation</mark> des Benchmarks von Wang et al. [13] - einziger Benchmark von kommerziellen Services (Amazon, Megvii, Micosoft) zur Face Verification hinsichtlich demografischen Biases (<mark class="turquoise">RQ 3</mark>)

* Verwendeter Datensatz: <mark class="turquoise">Racial Facial in the Wild (RFW) </mark> [13] - vier Gruppen nach <mark class="turquoise">Race</mark> (African, Asian, Caucasian, Indian)

* <mark class="turquoise">Replikation der Bildpaare</mark> nach Wang et al. [13] mit 3,000 genuinen Paaren und 3,000 Imposter-Paaren pro Gruppe (24,000 Bilder insgesamt)

* Implementierung des Benchmarks, Auswertung und Visualisierung mit Python 3.8.8 [44] bzw. R 4.1.0 [45]

]

.pull-right[

* <mark class="turquoise">Vergleichsgröße</mark>: `\(Accuracy =\frac{TP + TN}{TP + TN + FP + FN}\)`

.center[
  ![:scale 85%](data:image/png;base64,#img/rfw_avg_imgs.png)
  ]

]

.pull-left[

* Im Vergleich zu Wang et al. [13] <mark class="turquoise">Verbesserung der Perfromance bei Amazon und Microsoft</mark> um bis zu 23,1 Prozentpunkte (Accuracy von 98% oder mehr für alle demgrafischen Gruppen)

* Im Vergleich zur Studie von Wang et al. [13] hat sich die Genauigkeit von <mark class="turquoise">Megvii nicht wesentlich verbessert</mark>
        
* Die Performance aller Services ist <mark class="turquoise">am besten für Caucasians</mark>. Amazon und Microsoft erzielen die schlechtesten Ergebnisse für Asians und Megvii für Africans
        
* Auch <mark class="turquoise">Biases</mark> für Amazon und Microsoft erscheinen <mark class="turquoise">reduziert</mark> (größter Unterschied zwischen Gruppen: 1,0 Prozentpunkte)

]

.pull-right[

![](data:image/png;base64,#index_files/figure-html/unnamed-chunk-4-1.png)

]

---
class: inverse, middle, center

.pull-left[

* <mark class="turquoise">Benchmark kommerzieller Services für Face-Based Age Inference </mark> (Amazon, Megvii, Microsoft) unter Verwendung von Unconstrained Images (RQ 4, RQ 5)

* Berücksichtigung von <mark class="turquoise">Gender</mark> (Female, Male), <mark class="turquoise">Race</mark> (Asian, African, Caucasian, Indian) und <mark class="turquoise">Alter</mark> (0-9, 10-19, 20-29, 30-39, 40-49, 50-59, 60-69)

* Verwendeter Datensatz: <mark class="turquoise">Fairface</mark> [24; 25]: 108,000 Unconstrained Images mit Labes für Gender, Race and Age

* <mark class="turquoise">Randomisierte Auswahl von 175 Bildern pro intersektionaler Subgruppe</mark>

* Implementierung des Benchmarks, Auswertung und Visualisierung mit Python 3.8.8 [44] bzw. R 4.1.0 [45]

]

.pull-right[

* <mark class="turquoise">Vergleichsgröße</mark>: Mean Absolute Error (MAE) [46]: `\(MAE = \frac{1}{M} \sum_{i=1}^{M} |(\hat{y_i} - y_i)\)`

.center[
  ![:scale 80%](data:image/png;base64,#img/ff_avg_imgs.png)
  ]

]

* Nach <mark class="turquoise">Services</mark>: Konsistent niedrigster MAE für Microsoft, höchster für Megvii

* Nach <mark class="turquoise">dem. Gruppen</mark>:
  * Niedrigerer MAE bei Males
  * Beste Performance für Amazon bei Causasians, Microsoft bei Africans, Megvii bei Asians
  * MAEs am niedrigsten bei älteren Menschen (Amazon, Microsoft) oder bei besonders jungen Altersgruppen (Megvii)
  * Intersektional: in Altersgruppen, in denen Amazon und Microsoft schlecht abschneiden (z. B. 60-69 Jahre), sind MAEs systematisch am niedrigsten
für Caucasian Males. Ähnlich bei Megvii: MAEs in jungen Altersgruppen besonders niedrig für Asian Males
* Größte Unterschiede zwischen dem. Gruppen bei Amazon: 403% bzw. 13.78 MAE-Einheiten [4.55 (Asian Females 20-29); 18.33 (African Females 60-69)]

* Muster demographischer Biases tendenziell heterogen zwischen Services

---
class: inverse, middle, center

----
---
## <svg aria-hidden="true" role="img" viewBox="0 0 512 512" style="height:1em;width:1em;vertical-align:-0.125em;margin-left:auto;margin-right:auto;font-size:inherit;fill:#c5ebd5;overflow:visible;position:relative;"><path d="M256 32C114.6 32 0 125.1 0 240c0 49.6 21.4 95 57 130.7C44.5 421.1 2.7 466 2.2 466.5c-2.2 2.3-2.8 5.7-1.5 8.7S4.8 480 8 480c66.3 0 116-31.8 140.6-51.4 32.7 12.3 69 19.4 107.4 19.4 141.4 0 256-93.1 256-208S397.4 32 256 32z"/></svg> Einordnung der Ergebnisse
----

* Allgemein: Ergebnisse sind eine <mark class="turquoise">Momentaufnahme</mark> und die Vergleichbarkeit mit anderen Studien ist nicht in jedem Fall vollends gegeben (spezifische Analyse und rasante Weiterentwicklung des Felds)

* <mark class="turquoise">Face Verification</mark>
  * Ergebnisse zu Alter und Race decken sich überwiegend mit anderen Studien (z.B. [13; 11; 15])
  * Ergebnisse zu Gender im Gegensatz zu anderen Studien (mehrere Erklärungen denkbar)
  * Replikation von [13] zeigt, dass sich kommerzielle Services (von Microsoft und Amazon) jedenfalls verbessert haben
  * Ausmaß von Gruppenunterschieden tendeziell niedriger im Vergleich zu anderen Studien [11]
  
* <mark class="turquoise">Face-Based Age Inference</mark>
  * Wenige Ergebnisse zu demografischen Biases aus vorherigen Studien
  * Größere Unterschiede zwischen verschiedenen Altersgruppen im Vergleich zu Gruppen nach Gender und Race konsistent zu [24]
  * "Other-race"-Effekt [47]
  
---
## <svg aria-hidden="true" role="img" viewBox="0 0 512 512" style="height:1em;width:1em;vertical-align:-0.125em;margin-left:auto;margin-right:auto;font-size:inherit;fill:#c5ebd5;overflow:visible;position:relative;"><path d="M256 32C114.6 32 0 125.1 0 240c0 49.6 21.4 95 57 130.7C44.5 421.1 2.7 466 2.2 466.5c-2.2 2.3-2.8 5.7-1.5 8.7S4.8 480 8 480c66.3 0 116-31.8 140.6-51.4 32.7 12.3 69 19.4 107.4 19.4 141.4 0 256-93.1 256-208S397.4 32 256 32z"/></svg> Limitationen
----
* Stichprobengröße der intersektionalen Subgruppen (Repräsentativität, Ausmaß der Schwankungsbreite, Untersuchung niedriger Fehlerlevel)

* Berücksichtigung nur bestimmter demografischer Dimensionen und Gruppen (z.B. manche Altersgruppen nicht oder kaum reprärsentiert)

* In Experiment 2 ausgehend von Replikation nur Accuracy als Vergleichsgröße berücksichtigt

* Weitere Einflussfaktoren wie Schärfe oder Belichtung lagen nicht im Fokus der Arbeit

* Möglicherweise "Noisy Labels"

* Analyse von Detection Errors lag nicht im Fokus der Arbiet

* Face Verification versus Face Search
---

class: inverse, middle, center

----

---
## <svg aria-hidden="true" role="img" viewBox="0 0 576 512" style="height:1em;width:1.12em;vertical-align:-0.125em;margin-left:auto;margin-right:auto;font-size:inherit;fill:#c5ebd5;overflow:visible;position:relative;"><path d="M208 0c-29.9 0-54.7 20.5-61.8 48.2-.8 0-1.4-.2-2.2-.2-35.3 0-64 28.7-64 64 0 4.8.6 9.5 1.7 14C52.5 138 32 166.6 32 200c0 12.6 3.2 24.3 8.3 34.9C16.3 248.7 0 274.3 0 304c0 33.3 20.4 61.9 49.4 73.9-.9 4.6-1.4 9.3-1.4 14.1 0 39.8 32.2 72 72 72 4.1 0 8.1-.5 12-1.2 9.6 28.5 36.2 49.2 68 49.2 39.8 0 72-32.2 72-72V64c0-35.3-28.7-64-64-64zm368 304c0-29.7-16.3-55.3-40.3-69.1 5.2-10.6 8.3-22.3 8.3-34.9 0-33.4-20.5-62-49.7-74 1-4.5 1.7-9.2 1.7-14 0-35.3-28.7-64-64-64-.8 0-1.5.2-2.2.2C422.7 20.5 397.9 0 368 0c-35.3 0-64 28.6-64 64v376c0 39.8 32.2 72 72 72 31.8 0 58.4-20.7 68-49.2 3.9.7 7.9 1.2 12 1.2 39.8 0 72-32.2 72-72 0-4.8-.5-9.5-1.4-14.1 29-12 49.4-40.6 49.4-73.9z"/></svg> Schlussfolgerung
----

* <mark class="turquoise">Verbesserung kommerzieller Services</mark> für Face Verification über die Zeit - aber systematische <mark class="turquoise">demographische Biases immer noch vorhanden</mark> (z.B. bessere Performance bei Caucasians)

* Auch eindeutige <mark class="turquoise">Unterschiede zwischen demografischen Gruppen bei Face-Based Age Inference</mark>, die auf Biases in den Trainingsdaten hinweisen

* Trotz Verbesserungen der Services ist ein <mark class="turquoise">reflektierter Einsatz im Bewusstsein über deren Schwächen und Limitationen gefordert</mark>

* Benchmarks von (kommerziellen) Machine Learning-Modellen bleiben relevant, um einen <mark class="turquoise">fairen, transparenten Einsatz dieser Technologien</mark> langfristig sicherzustellen - Ergebnisse der Arbeit können hierbei als <mark class="turquoise">Referenzpunkt</mark> dienen

---
# Literatur

[1] J. Lynch. "Face off: Law enforcement use of face recognition
technology". In: _Electronic Frontier Foundation_ (2019).

[2] A. J. Shepley. "Deep Learning For Face Recognition: A Critical
Analysis". In: _arXiv preprint arXiv:1907.12739_ (2019).

[3] A. Norval and E. Prasopoulou. "Public faces? A critical exploration
of the diffusion of face recognition technologies in online social
networks". In: _New Media & Society_ 19.4 (2017), pp. 637-654.

[4] J. Buolamwini and T. Gebru. "Gender shades: Intersectional accuracy
disparities in commercial gender classification". In: _Conference on
Fairness, Accountability and Transparency_. 2018, pp. 77-91.

[5] Amazon. _Amazon Rekognition_. <URL:
https://aws.amazon.com/de/rekognition>. Last accessed 2021-07-15. 2021.

[6] Face++. _Face Comparing_. <URL:
https://faceplusplus.com/face-comparing>. Last accessed 2021-07-15.
2021.

[7] Microsoft. _Face - An AI service that analyzes faces in images_.
<URL:
https://azure.microsoft.com/en-us/services/cognitive-services/face>.
Last accessed 2021-07-15. 2021.

---
# Literatur

[8] J. F. Cohn and T. Kanade. "Use of automated facial image analysis
for measurement of emotion expression". In: _Handbook of Emotion
Elicitation and Assessment_. Oxford, 2007, pp. 222-238.

[9] I. D. Raji and J. Buolamwini. "Actionable auditing: Investigating
the impact of publicly naming biased performance results of commercial
AI products". In: _Proceedings of the 2019 AAAI/ACM Conference on AI,
Ethics, and Society_. 2019, pp. 429-435.

[10] I. Hupont and C. Fernández. "DemogPairs: Quantifying the impact of
demographic imbalance in deep face recognition". In: _IEEE
International Conference on Automatic Face & Gesture Recognition_.
2019, pp. 1-7.

[11] P. Grother, M. Ngan, and K. Hanaoka. _Face Recognition Vendor Test
(FVRT): Part 3, Demographic Effects_. National Institute of Standards
and Technology, 2019.

[12] J. J. Howard, Y. B. Sirotin, J. L. Tipton, et al. "Quantifying the
Extent to Which Race and Gender Features Determine Identity in
Commercial Face Recognition Algorithms". In: _arXiv preprint
arXiv:2010.07979_ (2020).

[13] M. Wang, W. Deng, J. Hu, et al. "Racial Faces in the Wild:
Reducing racial bias by information maximization adaptation network".
In: _Proceedings of the IEEE International Conference on Computer
Vision_. 2019, pp. 692-702.

---
# Literatur

[14] J. P. Robinson, G. Livitz, Y. Henon, et al. "Face recognition: too
bias, or not too bias?" In: _Proceedings of the IEEE/CVF Conference on
Computer Vision and Pattern Recognition Workshops_. 2020, pp. 0-1.

[15] H. El Khiyari and H. Wechsler. "Face verification subject to
varying (age, ethnicity, and gender) demographics using deep learning".
In: _Journal of Biometrics and Biostatistics_ 7.323 (2016), p. 11.

[16] F. Chollet. _"Deep learning with Python"_. Manning Publications
Company, 2017.

[17] J. G. Cavazos, P. J. Phillips, C. D. Castillo, et al. "Accuracy
comparison across face recognition algorithms: Where are we on
measuring race bias?" In: _IEEE transactions on biometrics, behavior,
and identity science_ 3.1 (2020), pp. 101-111.

[18] S. Maity, D. Mukherjee, M. Yurochkin, et al. "There is no
trade-off: Enforcing fairness can improve accuracy". In: _arXiv
e-prints_ (2020), pp. arXiv-2011.

[19] B. F. Klare, M. J. Burge, J. C. Klontz, et al. "Face recognition
performance: Role of demographic information". In: _IEEE Transactions
on Information Forensics and Security_ 7.6 (2012), pp. 1789-1801.

---
# Literatur

[20] A. Kortylewski, B. Egger, A. Schneider, et al. "Analyzing and
Reducing the Damage of Dataset Bias to Face Recognition With Synthetic
Data". In: _IEEE/CVF Conference on Computer Vision and Pattern
Recognition Workshops_. 2019, pp. 2261-2268.

[21] B. H. Zhang, B. Lemoine, and M. Mitchell. "Mitigating unwanted
biases with adversarial learning". In: _Proceedings of the 2018
AAAI/ACM Conference on AI, Ethics, and Society_. 2018, pp. 335-340.

[22] S. Corbett-Davies and S. Goel. "The measure and mismeasure of
fairness: A critical review of fair machine learning". In: _arXiv
preprint arXiv:1808.00023_ (2018).

[23] Oxford Advanced Learner's Dictionary. _Definition of demographic
noun from the Oxford Advanced Learner's Dictionary_. <URL:
https://www.oxfordlearnersdictionaries.com/definition/english/demographic_1>.
Last accessed 2021-06-01.

[24] K. Karkkainen and J. Joo. "FairFace: Face Attribute Dataset for
Balanced Race, Gender, and Age". In: _arXiv preprint arXiv:1908.04913_
(2019).

[25] K. Karkkainen and J. Joo. "FairFace: Face Attribute Dataset for
Balanced Race, Gender, and Age for Bias Measurement and Mitigation".
In: _Proceedings of the IEEE/CVF Winter Conference on Applications of
Computer Vision_. 2021, pp. 1548-1558.

---
# Literatur

[26] Z. Zhang, Y. Song, and H. Qi. "Age progression/regression by
conditional adversarial autoencoder". In: _Proceedings of the IEEE
Conference on Computer Vision and Pattern Recognition_. 2017, pp.
5810-5818.

[27] K. L. Suyemoto, M. Curley, and S. Mukkamala. "What do we mean by
ethnicity and race? A consensual qualitative research investigation of
colloquial understandings". In: _Genealogy_ 4.3 (2020), p. 81.

[28] R. Bhopal. "Glossary of terms relating to ethnicity and race: for
reflection and debate". In: _Journal of Epidemiology & Community
Health_ 58.6 (2004), pp. 441-445.

[29] K. Crenshaw. "Demarginalizing the intersection of race and sex: A
black feminist critique of antidiscrimination doctrine, feminist theory
and antiracist politics". In: _University of Chicago Legal Forum_
(1989).

[30] Kairos. _Kairos: Serving Businesses with Face Recognition_. <URL:
https://www.kairos.com/>. Last accessed 2021-07-15. 2021.

[31] Lambda Labs. _Face Recognition API_. <URL:
https://lambdalabs.com/face-recognition-api>. Last accessed 2021-07-15.
2021.

---
# Literatur

[32] Interpol. _Facial Recognition_. <URL:
https://www.interpol.int/How-we-work/Forensics/Facial-Recognition>.
Last accessed 2021-08-03. 2021.

[33] New York Times. _Your face is, or will be, your boarding pass_.
<URL:
https://www.nytimes.com/2021/12/07/travel/biometrics-airports-security.html>.
Last accessed 2021-12-28. 2021.

[34] K. Krishnapriya, K. Vangara, M. C. King, et al. "Characterizing
the Variability in Face Recognition Accuracy Relative to Race". In:
_arXiv e-prints_ (2019), pp. arXiv-1904.

[35] Y. Deng, S. Teng, L. Fei, et al. "A Multifeature Learning and
Fusion Network for Facial Age Estimation". In: _Sensors_ 21.13 (2021),
p. 4597.

[36] M. Akhand, M. I. Sayim, S. Roy, et al. "Human Age Prediction from
Facial Image Using Transfer Learning in Deep Convolutional Neural
Networks". In: _Proceedings of International Joint Conference on
Computational Intelligence_. 2020, pp. 217-229.

---
# Literatur

[37] O. Guehairia, A. Ouamane, F. Dornaika, et al. "Feature fusion via
Deep Random Forest for facial age estimation". In: _Neural Networks_
130 (2020), pp. 238-252.

[38] S. T. Rahman, A. Arefeen, S. S. Mridul, et al. "Human Age and
Gender Estimation using Facial Image Processing". In: _IEEE Region 10
Symposium_. 2020, pp. 1001-1005.

[39] S. E. Bekhouche, F. Dornaika, A. Benlamoudi, et al. "A comparative
study of human facial age estimation: Handcrafted features vs. deep
features". In: _Multimedia Tools and Applications_ 79.35 (2020), pp.
26605-26622.

[40] S. Gong, X. Liu, and A. K. Jain. "Jointly de-biasing face
recognition and demographic attribute estimation". In: _European
Conference on Computer Vision_. 2020, pp. 330-347.

[41] O. Agbo-Ajala and S. Viriri. "Face-based age and gender
classification using deep learning model". In: _"Pacific-Rim Symposium
on Image and Video Technology"_. 2019, pp. 125-137.

[42] M. Sandler, A. Howard, M. Zhu, et al. "MobileNetV2: Inverted
residuals and linear bottlenecks". In: _Proceedings of the IEEE
Conference on Computer Vision and Pattern Recognition_. 2018, pp.
4510-4520.

[43] D. Scheuermann, S. Schwiderski-Grosche, and B. Struif. _Usability
of biometrics in relation to electronic signatures_.
GMD-Forschungszentrum Informationstechnik Sankt Augustin, 2000.

---
# Literatur

[44] Python Software Foundation. _Python Language Reference, version
3.8_. <URL: http://www.python.org>. Last accessed 2021-06-30. 2021.

[45] R Core Team. _R: A Language and Environment for Statistical
Computing_. R Foundation for Statistical Computing. Vienna, Austria,
2021.

[46] A. Géron. _Hands-on machine learning with Scikit-Learn, Keras, and
TensorFlow: Concepts, tools, and techniques to build intelligent
systems_. O'Reilly Media, 2019.

[47] P. J. Phillips, F. Jiang, A. Narvekar, et al. "An other-race
effect for face recognition algorithms". In: _ACM Transactions on
Applied Perception_ 8.2 (2011), pp. 1-11.

---
# Anhang: Beispielbilder (BFW, RFW, Fairface)

.center[
![](data:image/png;base64,#img/bfw_sample_imgs.png)
![](data:image/png;base64,#img/rfw_sample_imgs.png)

![](data:image/png;base64,#img/ff_sample_imgs.png)
]